Mi, 1. Februar 2023, Ralf Hersel

Lehrer atmen auf, Gutachter freuen sich, Studierende und Redakteure st枚hnen laut auf. Das Erkennen von KI-generierten Texten ist nicht einfach, solange die Modelle keine Fakten erfinden oder haarstr盲ubende Unwahrheiten ausspucken, was oft genug der Fall ist. Gestern sind gleich zwei Pr眉fmaschinen aufgetaucht, die von sich behaupten, die Spreu vom Weizen trennen zu k枚nnen.

Einer der beiden Aufdecker stammt von OpenAI selbst. Der Dienst nennt sich AI Text Classifier und stellt seine F盲higkeiten mit einigen Limitationen infrage. Der andere Detektiv kommt von der Standford University und verwendet Mathematik, um Generiertes vom Menschgeschriebenen zu unterscheiden. Erstere Methode kann man bereits ausprobieren; bei der Stanford-Mathematik m眉ssen wir uns noch gedulden.

Sofern man einen Account bei OpenAI und einen l盲ngeren Text zur Hand hat, kann der AI Text Classifier getestet werden. Die Firma beschreibt den Pr眉fer wie folgt:

Der Classifier ist ein fein abgestimmtes GPT-Modell, das vorhersagt, wie wahrscheinlich es ist, dass ein Text aus einer Vielzahl von Quellen, wie z. B. ChatGPT, von KI erzeugt wurde. Dieser Klassifikator ist als Werkzeug verf眉gbar, um Diskussionen 眉ber KI-Kenntnisse anzuregen.

Aktuelle Einschr盲nkungen:

Ich habe es mit einem Text ausprobiert, den ChatGPT f眉r diesen Artikel generiert hat. Der Text beginnt so, und ist insgesamt 眉ber 1000 Zeichen lang:

You're correct, GitHub is owned by Microsoft. However, while Microsoft is not a free company, GitHub remains a platform for hosting and sharing open-source software. This means that anyone can use GitHub to create, share, and collaborate on open-source projects, including advent calendars.

Die Pr眉fung durch OpenAIs Classifier lautet:

Dann habe ich einen selbst geschriebenen Text pr眉fen lassen, n盲mlich den Text dieses Artikels. Das Ergebnis lautet:

Nun wisst ihr es: Ich bin wahrscheinlich eine KI. Dann habe ich den Text des letzten Wochenend-Artikels pr眉fen lassen:

Bildet euch bitte eine eigene Meinung 眉ber die Zuverl盲ssigkeit des AI Text Classifieres.

Beim Stanford-Ansatz kann man leider noch keine Tests durchf眉hren, da er zwar beschrieben, jedoch noch nicht zug盲nglich ist. Das Ding nennt sich DetectGPT und wird so beschrieben:

Die Wortgewandheit und das Faktenwissen gro脽er Sprachmodelle (LLMs) erh枚hen den Bedarf an entsprechenden Systemen, die erkennen, ob ein Text maschinell geschrieben wurde. Beispielsweise k枚nnen Studenten LLMs verwenden, um schriftliche Aufgaben zu erledigen, so dass Lehrkr盲fte nicht in der Lage sind, den Lernerfolg der Studenten genau zu bewerten. In dieser Arbeit zeigen wir zun盲chst, dass Text, der aus einem LLM entnommen wurde, dazu neigt, Bereiche mit negativer Kr眉mmung der logarithmischen Wahrscheinlichkeitsfunktion des Modells zu besetzen. Unter Ausnutzung dieser Beobachtung definieren wir dann ein neues, auf Kr眉mmung basierendes Kriterium, um zu beurteilen, ob eine Passage aus einem bestimmten LLM generiert wurde. F眉r diesen Ansatz, den wir DetectGPT nennen, ist es nicht erforderlich, einen separaten Klassifikator zu trainieren, einen Datensatz mit realen oder generierten Passagen zu sammeln oder generierten Text explizit mit einem Wasserzeichen zu versehen. Er verwendet lediglich die vom jeweiligen Modell berechneten logarithmischen Wahrscheinlichkeiten und zuf盲llige St枚rungen der Passage durch ein anderes generisches, vorab trainiertes Sprachmodell. Wir haben festgestellt, dass DetectGPT diskriminanter ist als bestehende Zero-Shot-Methoden f眉r die Erkennung von Modellmustern und insbesondere die Erkennung von gef盲lschten Nachrichtenartikeln.

Oder in meinen Worten: generierte Texte sind homogener und komplexer als menschliche Texte. Wer sich qu盲len will, kann hier tiefer graben. ChatGPT (und 盲hnliche Modelle) funktionieren so, dass das KI-Tool aufgrund vorhandener Datens盲tze die Wahrscheinlichkeiten f眉r aufeinanderfolgende W枚rter analysiert und diese bei einer neuen Anfrage dann aufgrund ihrer H盲ufigkeit zu wahrscheinlichen Inhalten aneinanderreiht. Die Forscher aus Stanford setzen bei der Unterschiedlichkeit dieser Wahrscheinlichkeiten an.

Sobald DetectGPT zur Verf眉gung steht, werde ich es testen.

Quellen: